หลี ยฺเหวี่ยนเจ๋อเป็นบุตรคนที่สองจากเก้าคนของหลี่ เจ๋อฟาน จิตรกรคนสำคัญของไต้หวัน และไช่ เผย์ ครูประถมศึกษา[19] นอกจากตัวหลี ยฺเหวี่ยนเจ๋อเองแล้วเขายังมีพี่น้องอีกสามคนที่ดำรงตำแหน่งสำคัญด้านวิทยาศาสตร์ ได้แก่พี่ชาย หลี ยฺเหวี่ยนชวัน ศาสตราจารย์ด้านชีวเคมีประจำมหาวิทยาลัยจอนส์ ฮอปคินส์[20] น้องชาย หลี ยฺเหวี่ยนเผิง อาจารย์สาขาเคมีประจำมหาวิทยาลัยแห่งชาติเจียวทง ซึ่งทั้งหลี ยฺเหวี่ยนชวันและหลี ยฺเหวี่ยนเผิงก็ได้รับเลือกเป็นสมาชิกของสถาบัน Academia Sinica เช่นเดียวกันกับหลี ยฺเหวี่ยนเจ๋อ[21][22] และน้องสาว หลี่ จี้เหมย์ ศาสตราจารย์เกียรติคุณประจำมหาวิทยาลัยแห่งชาติจงซิ่ง[23]

หลี ยฺเหวี่ยนเจ๋อสมรสกับเบอร์นิซ อู๋ ซึ่งรู้จักกันตั้งแต่สมัยเรียนประถมศึกษา และมีบุตรด้วยกันสามคนได้แก่เท็ด (เกิด ค.ศ. 1963) ซิดนีย์ (เกิด ค.ศ. 1966) และชาร์ลอตต์ (เกิด ค.ศ. 1969)[7]